Nhà Trắng được xây dựng sau khi Quốc hội quyết định thành lập Đặc khu Columbia và chọn nơi này làm thủ đô Hoa Kỳ ngày 16 tháng 7 năm 1790. Tổng thống George Washington cùng với Pierre L’Enfant, người chịu trách nhiệm quy hoạch thành phố, giúp chọn địa điểm này.

Kiến trúc sư được chọn qua một cuộc thi với chín đề án gởi đến dự thi. James Hoban, người Ireland, là người thắng cuộc; toà nhà được khởi công xây dựng với lễ đặt viên đá đầu tiên vào ngày 13 tháng 10 năm 1792. Toà nhà theo thiết kế của Hoban mô phỏng tầng trệt và lầu một của toà nhà Leinster House, dinh thự của một công tước toạ lạc ở Dubin, Ireland, ngày nay là toà nhà Quốc hội Ireland.

Trái với những điều người ta thường biết về Nhà Trắng, cổng Bắc của toà nhà không được thiết kế mô phỏng theo cổng của một dinh thự khác tại Dublin, Viceregal Lodge (nay là Aras an Uachtarain, nơi ở của Tổng thống Ireland). Trong thực tế, chiếc cổng này chỉ được xây dựng sau này. Quyết định đặt thủ đô trên nhượng địa của hai tiểu bang chủ trương sở hữu nô lệ - Virginia và Maryland – gây ảnh hưởng đến việc tuyển dụng nhân công xây dựng cho các toà nhà chính phủ. Các uỷ viên thành phố D.C., được Quốc hội giao nhiệm vụ kiến thiết thành phố mới dưới sự hướng dẫn của tổng thống, lúc đầu dự định sử dụng nhân công tuyển dụng từ Âu châu; nhưng vì những đáp ứng từ châu lục là tiêu cực nên họ phải quay trở lại tìm kiếm nhân công người Mỹ gốc Phi, cả nô lệ và người tự do. Những người này chiếm phần lớn lực lượng lao động xây dựng Nhà Trắng.

Công cuộc kiến thiết Nhà Trắng hoàn tất ngày 1 tháng 11 năm 1800. Tiến độ thi công cực kỳ chậm, phải mất 8 năm và tiêu tốn 232.371,83 USD, tương đương với 2,4 triệu USD theo trị giá ngày nay tính cả mức lạm phát.

Cổng trước và sau chỉ được thêm vào kiến trúc toà nhà cho đến năm 1825.

Toà nhà lúc đầu được gọi là Dinh Tổng thống (Presidential Palace hoặc Presidential Mansion). Dolley Madison gọi nó là "Lâu đài Tổng thống". Tuy vậy, có chứng cứ cho thấy trong năm 1811, toà nhà này lần đầu tiên được gọi là "Nhà Trắng", vì mặt ngoài của nó được sơn trắng. Tên gọi Dinh Hành pháp cũng thường được dùng đến trong các văn kiện chính thức cho đến khi Tổng thống Roosevelt thiết lập tên chính thức của nó là "Nhà Trắng", tên này được khắc lên các vật dụng văn phòng của tổng thống năm 1901.

John Adams là tổng thống đầu tiên đến sống trong Nhà Trắng từ ngày 1 tháng 11 năm 1800. Năm 1814 trong lúc diễn ra cuộc chiến năm 1812, nhiều toà nhà ở Washington, D.C. bị thiêu rụi bởi binh lính Anh, Nhà Trắng cũng đứng trơ trọi với những bức tường chỏng chơ. Nhiều người cho rằng chính trong lúc tái thiết, người ta tìm cách phủ lấp những thiệt hại của toà nhà do hoả hoạn bằng những lớp sơn màu trắng, do đó trở nên tên gọi cho toà nhà; nhưng cách giải thích này là không có nền tảng bởi vì toà nhà đã được sơn trắng từ năm 1798. Trong số rất nhiều tài sản của Nhà Trắng bị binh lính Anh cướp phá, chỉ có hai món được tìm thấy lại - bức chân dung George Washington, được cứu thoát bởi Đệ Nhất Phu nhân Dolley Madison, và một hộp nữ trang, năm 1939 được hoàn trả cho Tổng thống Franklin Delano Roosevelt bởi một người Canada, người này nói rằng ông nội của ông đã lấy nó từ Washington. Phần lớn bị cướp khi một đoàn tàu Anh trên đường đến Halifax bị chìm ngoài khơi Prospect do bị bão. Chiếc HMS Fantome dẫn một đoàn tàu trở lại Halifax khi đoàn tàu kia bị đánh chìm bởi cơn bão trong đêm 24 tháng 11 năm 1814.

Ngày 16 tháng 8 năm 1841, Nhà Trắng bị tấn công lần nữa khi Tổng thống John Tyler phủ quyết dự luật tái lập Đệ Nhị Ngân hàng Hoa Kỳ. Những thành viên Đảng Whig tức giận tụ tập trước Nhà Trắng trong một cuộc biểu tình, cho đến nay vẫn được xem là cuộc tụ tập bạo động nhất từng xảy ra trong lịch sử nước Mỹ.

Cũng giống các dinh thự vùng quê nước Anh và Ireland mà nó mô phỏng, từ đầu thế kỷ XX, Nhà Trắng được mở cửa cho công chúng. Tổng thổng Thomas Jefferson cho mở cửa toà nhà đón tiếp người dân vào dịp lễ nhậm chức nhiệm kỳ thứ hai của ông năm 1805, khi một đám đông dân chúng, đến tham dự lễ tuyên thệ tổ chức tại Điện Capitol, đã theo tổng thống về nhà và được tổng thống tiếp đón trong Phòng Lam (Blue Room).

Đôi khi những lần mở cửa tiếp đón công chúng gây ra rối loạn: năm 1829, Tổng thống Andrew Jackson bị buộc phải đến ở tạm tại một khách sạn khi một đám đông ước chừng 20.000 công dân đến dự lễ tuyên thệ nhậm chức của ông được tổ chức bên trong Nhà Trắng. Các phụ tá của tổng thống phải dùng những chậu giặt chứa đầy món cocktail pha rượu whiskey với nước cam vắt mới có thể thu hút đám đông di chuyển ra bên ngoài. Dù vậy, thông lệ này vẫn cứ được duy trì cho đến năm 1885, khi tổng thống tân cử Grover Cleveland sắp xếp lễ duyệt binh từ lễ đài lớn đặt ngay trước Nhà Trắng thay vì bên trong toà nhà như trước đây.

Jefferson mở cửa cho công chúng đến thăm ngôi nhà của tổng thống được tổ chức theo đoàn, thông lệ này vẫn được duy trì cho đến nay, ngoại trừ trong lúc chiến tranh. Jefferson cũng là người khởi xướng truyền thống hằng năm đón tiếp công chúng vào dịp năm mới và ngày Lễ Độc lập Hoa Kỳ. Tuy nhiên, thông lệ này chấm dứt vào đầu thập niên 1930.

Nhà Trắng vẫn được mở cửa theo những cung cách khác; Tổng thống Abraham Lincoln than phiền rằng ông thường xuyên bị bao vây bởi những người đang kiếm việc làm, đến gặp ông yêu cầu được bổ nhiệm vào những vị trí chính trị hoặc đòi hỏi những đặc ân khác khi tổng thống mới bắt đầu một ngày làm việc của mình. Lincoln thà chịu đựng những phiền phức này hơn là gánh nguy cơ trở nên thù địch với những người thân tín hoặc bạn hữu của một chính trị gia đầy quyền lực nào đó, hoặc một người có ảnh hưởng trên dư luận quần chúng.

Ngày 19 tháng 12 năm 1960, Nhà Trắng được công nhận Danh thắng Lịch sử Quốc gia.